模型预测模型55 时间序列-平稳随机时间序列模型的识别

所谓随机时间序列模型的识别, 就是对于一个平稳的随机时间序列, 找出生成它的合适的随机过程或模型, 即判断该时间序列是遵循一纯AR过程、还是遵循纯MA过程或ARMA过程。所使用的工具主要是时间序列的自相关函数 (autocorrelation function, ACF) 及偏自相关函数 ( partial autocorrelation function, PACF )。

AR(p) 过程¶

自相关函数 $\mathrm{ACF}$¶

1阶自回归模型AR(1) $$ \mathrm{X}_{\mathrm{t}}=\varphi \mathrm{X}_{\mathrm{t}-1}+\varepsilon_{\mathrm{t}} $$ 的k阶滞后自协方差为: $$ \gamma_{k}=E\left(X_{t-k}\left(\varphi X_{t-1}+\varepsilon_{t}\right)\right)=\varphi \gamma_{k-1}=\varphi^{k} \gamma_{0} \quad \kappa=1,2, \ldots $$ 因此, $\mathrm{AR}(1)$ 模型的自相关函数为 $$ \rho_{k}=\gamma_{k} / \gamma_{0}=\varphi^{k} \quad \kappa=1,2, \ldots $$ 由 $\operatorname{AR}(1)$ 的稳定性知 $|\varphi|<1$, 因此, $k \rightarrow \infty$ 时, 呈指数形衰减, 直到零。这种现象称为拖尾或称 $\mathrm{AR}(1)$ 有无穷记忆（infinite memory）注意, $\varphi<0$ 时, 呈振荡衰减状。
2 阶自回归模型AR(2) $$ \mathrm{X}_{\mathrm{t}}=\varphi_{1} \mathrm{X}_{\mathrm{t}-1}+\varphi_{2} \mathrm{X}_{\mathrm{t}-2}+\varepsilon_{\mathrm{t}} $$ 该模型的方差 $\gamma_{0}$ 以及滞后1期与2期的自协方差 $\gamma_{1}, \gamma_{2}$ 分别为 $$ \begin{array}{ll} \gamma_{0}=\varphi_{1} \gamma_{1}+\varphi_{2} \gamma_{2}+\sigma_{\varepsilon}^{2} & \gamma_{1}=\varphi_{1} \gamma_{0}+\varphi_{2} \gamma_{1} \\ \gamma_{2}=\varphi_{1} \gamma_{1}+\varphi_{2} \gamma_{0} \end{array} $$ 类似地, 可写出一般的 $\mathrm{k}$ 期滞后自协方差: $$ \gamma_{k}=E\left(X_{t-k}\left(\varphi_{1} X_{t-1}+\varphi_{2} X_{t-2}+\varepsilon_{t}\right)\right)=\varphi_{1} \gamma_{k-1}+\varphi_{2} r_{k-2} \quad(\mathrm{~K}=2,3, \ldots) $$ 于是, $\operatorname{AR}(2)$ 的 $\mathbf{k}$ 阶自相关函数为: $$ \rho_{k}=\varphi_{1} \rho_{k-1}+\varphi_{2} \rho_{k-2} \quad(\mathrm{~K}=2,3, \ldots) $$ 其中 $: \rho_{1}=\varphi_{1} /\left(1-\varphi_{2}\right), \rho_{0}=1$ 如果 $A R(2)$ 稳定，则由 $\varphi_{1}+\varphi_{2}<1$ 知 $\left|\rho_{\mathrm{k}}\right|$ 衰减趋于零, 呈拖尾状。至于衰减的形式, 要看 $A R(2)$ 特征根的实虚性, 若为实根, 则呈单调或振荡型衰减, 若为虚根, 则呈正弦波型衰减。
一般地, p阶自回归模型AR(p) $$ \mathrm{X}_{\mathrm{t}}=\varphi_{1} \mathrm{X}_{\mathrm{t}-1}+\varphi_{2} \mathrm{X}_{\mathrm{t}-2}+\ldots \varphi_{\mathrm{p}} \mathrm{X}_{\mathrm{t}-\mathrm{p}}+\varepsilon_{\mathrm{t}} $$ $\mathrm{k}$ 期滞后协方差为： $$ \begin{aligned} \gamma_{k} &=E\left(X_{t-K}\left(\varphi_{1} X_{t-1}+\varphi_{2} X_{t-2}+\cdots+\varphi_{p} X_{t-p}+\varepsilon_{t}\right)\right) \\ &=\varphi_{1} \gamma_{k-1}+\varphi_{2} \gamma_{k-2}+\cdots+\varphi_{p} \gamma_{k-p} \end{aligned} $$ 从而有自相关函数： $$ \rho_{k}=\varphi_{1} \rho_{k-1}+\varphi_{2} \rho_{k-2}+\cdots+\varphi_{p} \rho_{k-p} $$ 可见, 无论 $k$ 有多大, $\rho_{k}$ 的计算均与其 1 到 $p$ 阶滞后的自相关函数有关, 因此呈拖尾状。如果AR $(\mathrm{p})$ 是稳定的, 则 $\left|\rho_{\mathrm{k}}\right|$ 递减且趋于零。

偏自相关函数¶

自相关函数 $\mathrm{ACF}(\mathrm{k})$ 给出了 $\mathrm{X}_{\mathrm{t}}$ 与 $\mathrm{X}_{\mathrm{t}-1}$ 的总体相关性, 但总体相关性可能掩盖了变量间完全不同的隐含关系。例如, 在AR(1) 随机过程中, $X_{t}$ 与 $X_{t-2}$ 间有相关性可能主要是由于它们各自与 $\mathrm{X}_{\mathrm{t}-1}$ 间的相关性带来的: $$ \rho_{2}=\varphi^{2}=\rho_{1}^{2}=E\left(X_{t} X_{t-1}\right) E\left(X_{t-1} X_{t-2}\right) $$ 即自相关函数中包含了这种所有的 “间接” 相关。与之相反, $\mathrm{X}_{\mathrm{t}}$ 与 $\mathrm{X}_{\mathrm{t}-\mathrm{k}}$ 间的偏自相关函数 (partial autocorrelation, 简记为 $\mathrm{PACF}$ ) 则是消除了中间变量 $\mathrm{X}_{\mathrm{t}-1}, \ldots$, $X_{t-k+1}$ 带来的间接相关后的直接相关性, 它是在已知序列值 $X_{t}$ $1, \ldots, X_{t-k+1}$ 的条件下, $X_{t}$ 与 $X_{t-k}$ 间关系的度量。

在AR(1)中, 从 $X_{t}$ 中去掉 $X_{t-1}$ 的影响, 则只剩下随机扰动项 $\varepsilon_{t}$, 显然它与 $X_{t-2}$ 无关, 因此我们说 $X_{t}$ 与 $X_{t-2}$ 的偏自相关系数为零, 记为 $$ \rho_{2}^{*}=\operatorname{Corr}\left(\varepsilon_{t}, X_{t-2}\right)=0 $$ 同样地, 在AR(p)过程中, 对所有的 $k>p, X_{t}$ 与 $X_{t-k}$ 间的偏自相关系数为零。 $A R(p)$ 的一个主要特征是: $k>p$ 时, $\rho_{k}{ }^{*}=\operatorname{Corr}\left(X_{t}, X_{t-k}\right)=0$ 即 $\rho_{k}^*$ 在p以后是截尾的。一随机时间序列的识别原则: 若 $X t$ 的偏自相关函数在p以后截尾, 即 $k>p$ 时, $\rho_{k}^*=0$ ，而它的自相关函数 $\rho_{\mathrm{k}}$ 是拖尾的, 则此序列是自回归AR (p) 序列。

MA(q) 过程¶

对MA(1)过程 $$ X_{t}=\varepsilon_{t}-\theta \varepsilon_{t-1} $$ 可容易地㝍出它的自协方差系数: $$ \begin{aligned} &\gamma_{0}=\left(1+\theta^{2}\right) \sigma_{\varepsilon}^{2} \\ &\gamma_{1}=-\theta \sigma_{\varepsilon}^{2} \\ &\gamma_{2}=\gamma_{3}=\cdots=0 \end{aligned} $$ 于是, $\mathrm{MA}(1)$ 过程的自相关函数为: $$ \begin{aligned} &\rho_{1}=\frac{-\theta}{\left(1+\theta^{2}\right)} \\ &\rho_{2}=\rho_{3}=\cdots=0 \end{aligned} $$ 可见, 当 $k>1$ 时, $\rho_{k}>0$, 即 $X_{t}$ 与 $X_{t-k}$ 不相关, $M A(1)$ 自相关函数是截尾的。

$M A(1)$ 过程可以等价地写成 $\varepsilon_{t}$ 关于无穷序列 $X_{t}, X_{t-1}, \ldots$ 的线性组合的形式: $$ \varepsilon_{t}=X_{t}+\theta X_{t-1}+\theta^{2} X_{t-2}+\cdots $$ 或 $X_{t}=-\theta X_{t-1}-\theta^{2} X_{t-2}-\cdots+\varepsilon_{t}$ 上式是一个AR $(\infty)$ 过程, 它的偏自相关函数非截尾但却趋于零, 因此MA (1) 的偏自相关函数是非截尾但却趋于零的。注意：上式只有当 $|\theta|<1$ 时才有意义, 否则意味着距 $X t$ 越远的 $X$ 值, 对Xt的影响越大, 显然不符合常理。因此, 我们把 $|\theta|<1$ 称为MA (1) 的可逆性条件 (invertibility condition) 或可逆域。

一般地, $\mathrm{q}$ 阶移动平均过程 $\mathrm{MA}(\mathrm{q})$ $$ X_{t}=\varepsilon_{t}-\theta_{1} \varepsilon_{t-1}-\cdots-\theta_{q} \varepsilon_{t-q} $$ 其自协方差系数为 $$ r_{k}=E\left(X_{t} X_{t-k}\right)=\left\{\begin{array}{cl} \sigma_{\varepsilon}^{2}\left(1+\theta_{1}^{2}+\theta_{2}^{2}+\cdots+\theta_{q}^{2}\right) & \text { 当 } k=0 \\ \sigma_{\varepsilon}^{2}\left(-\theta_{k}+\theta_{1} \theta_{k+1}+\cdots+\theta_{q-k} \theta_{q}\right) & \text { 当 } 1 \leq k \leq q \\ 0 & \text { 当 } k>q \end{array}\right. $$ 相应的自相关函数为 $$ \rho_{k}=\frac{r_{k}}{r_{0}}=\left\{\begin{array}{ll} 1 & \text { 当 } k=0 \\ \left(-\theta_{k}+\theta_{1} \theta_{k+1}+\cdots+\theta_{q-k} \theta_{q}\right) /\left(1+\theta_{1}^{2}+\cdots+\theta_{q}^{2}\right) \\ 0 & \text { 当 } k>q \end{array} \quad \text { 当 } 1 \leq k \leq q\right. $$ 可见, 当 $k>q$ 时, $\mathbf{X}_{t}$ 与 $\mathbf{X}_{t-k}$ 不相关, 即存在截尾现象, 因此, 当 $k>q$ 时, $\rho_{k}=\mathbf{0}$ 是 $M A(q)$ 的一个特征。于是: 可以根据自相关系数是否从某一点开始一直为 0 来判断MA (q) 模型的阶。

与 $M A(1)$ 相仿, 可以验证MA(q)过程的偏自相关函数是非截尾但趋于零的。

MA(q)模型的识别规则：若随机序列的自相关函数截尾, 即自 $q$ 以后, $\rho_{\mathrm{k}}=0(\mathrm{k}>\mathrm{q})$; 而它的偏自相关函数是拖尾的, 则此序列是滑动平均MA (q) 序列。同样需要注意的是: 在实际识别时, 由于样本自相关函数 $r_{k}$ 是总体自相关函数 $\rho_{k}$ 的一个估计, 由于样本的随机性, 当 $\mathbf{k}>\mathbf{q}$ 时, $r_{k}$ 不会全为 0 , 而是在 0 的上下波动。但可以证明, 当 $\mathbf{k}>\mathbf{q}$ 时， $r_{k}$ 服从如下渐近正态分布： $$ \mathrm{r}_{\mathrm{k}} \sim \mathrm{N}(0,1 / \mathrm{n}) $$ 式中 $\mathrm{n}$ 表示样本容量。因此, 如果计算的 $r_{\mathrm{k}}$ 满足： $\left|r_{k}\right| \prec \frac{2}{\sqrt{n}}$ 我们就有 $95.5 \%$ 的把握判断原时间序列在q之后截尾。

ARMA ( p, q) 过程¶

$\operatorname{ARMA}(p, q)$ 的自相关函数, 可以看作 $M A(q)$ 的自相关函数和AR(p)的自相关函数的混合物。当 $p=0$ 时, 它具有截尾性质; 当 $q=0$ 时, 它具有拖尾性质; 当 $p、q$ 都不为 0 时, 它具有拖尾性质从识别上看, 通常: $\operatorname{ARMA}(p, q)$ 过程的偏自相关函数 (PACF) 可能在 $p$ 阶滞后前有几项明显的尖柱 (spikes), 但从p阶滞后项开始逐渐趋向于零; 而它的自相关函数 (ACF) 则是在 $\mathbf{q}$ 阶滞后前有几项明显的尖柱, 从q阶滞后项开始逐渐趋向于零。

案例¶

ACF拖尾，PACF一阶截尾$Rightarray$ AR(1)
ACF拖尾，PACF一阶截尾$Rightarray$ AR(1)
ACF一阶截尾，PACF拖尾$Rightarray$ MA(1)
ACF拖尾，PACF二阶阶截尾$Rightarray$ AR(1)